| Jean Étienne de Durand | Premier propriétaire et commanditaire des premiers travaux. |
| Jean Georges de Caulet | Trésorier général de France, acquéreur et commanditaire des travaux majeurs. |
| Jean Fenié | Maître maçon chargé de l'édification du pavillon ouest et des tours d'angle. |
| Antoine Planiol | Charpentier ayant travaillé sur la charpente du pavillon. |
| Campmartin | Tailleur de pierre ayant travaillé sur les éléments sculptés. |
| Famille Rességuier | Propriétaire ayant modernisé la façade au XVIIIe siècle. |